import { Callout } from "nextra-theme-docs";

# Docker + K8s 分離デプロイ

この記事では、軽量デプロイのK3sを例に、すでにK8sクラスタをデプロイしている場合、この記事の後半の設定を参考に同様の設定を行うことができます。

<Callout type="warning">

このチュートリアルは、操作を行う前に必ず全文を読むようにしてください。そうしないと、デプロイ結果が期待通りにならない可能性があります。

</Callout>

## Dockerのインストール

[Docker公式サイト](https://docs.docker.com/engine/install/)で関連するインストール手順を見つけることができます。そして、[クイックスタート](/quick-start)の基本設定を使用してGZCTFを起動します。

## k3sのインストール

k3sは軽量なk8sディストリビューションで、シングルマシンやマルチマシン上でk8sクラスタを迅速にデプロイすることができます。公式ドキュメントのURL：[https://docs.k3s.io](https://docs.k3s.io)

<Callout type="info">

もしマシンが一台しかなく、DockerでGZCTFを実行したい場合は、インストール時に以下のパラメータを指定してDockerバックエンドを指定することができます：

```bash
INSTALL_K3S_EXEC="--docker"
```

<Callout type="info">

もし一台のk3sインスタンスで255個を超える問題コンテナを実行したい場合は、**k3sのインストール時に**`INSTALL_K3S_EXEC`を指定し、`node-cidr-mask-size`を必要なサブネットサイズに変更する必要があります。

```bash
INSTALL_K3S_EXEC="--kube-controller-manager-arg=node-cidr-mask-size=16"
```

**上記の設定はインストール後に変更できません。** CIDRを`/16`に変更すると、65535個のPodをサポートできます。

上記の設定は、ノードのPodが使用するIPアドレス範囲を変更するだけであり、ノードのPod数制限を変更する場合は、以下を参照してください。

</Callout>

そして、以下の形式でk3sをインストールします。詳細は[k3sのインストール設定](https://docs.k3s.io/installation/configuration)を参照してください：

```bash
curl -sfL https://get.k3s.io | INSTALL_K3S_EXEC="..." sh -
```

しかし、この方法は推奨されていません。Dockerをコンテナバックエンドとして使用すると、一部の機能が利用できなくなる可能性があります。

もしDockerをコンテナバックエンドとして使用したくないが、シングルマシンでデプロイしたい場合は、[K8sクラスタデプロイ](/deployment/k8s-only)の方法を参考にすることができます。

</Callout>

```bash
curl -sfL https://get.k3s.io | sh -
# Readyノードの確認、約30秒かかります
sudo k3s kubectl get node
```

<Callout type="info">

中国のユーザーは、以下の方法でインストールを高速化することができます：

```bash
curl -sfL https://rancher-mirror.rancher.cn/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn sh -
```

</Callout>

マルチマシンのインストールとクラスタの構築については、[公式ドキュメント](https://docs.k3s.io/quick-start)を参照してください。

## GZCTFの設定

k3sの接続設定ファイルは`/etc/rancher/k3s/k3s.yaml`にあり、以下のコマンドでエクスポートできます：

```bash
sudo cat /etc/rancher/k3s/k3s.yaml
```

以下のコマンドを使用して、k3s control-panelが存在するマシンのIPを取得します：

```bash
sudo k3s kubectl cluster-info
```

<Callout type="info">

もし`127.0.0.1`が表示された場合、それはk3s control-panelが現在のマシンであることを意味します。`ip a`を使用して現在のマシンのIPを確認してください。

IPアドレスを直接使用することも、ドメイン名を使用することもできますが、ドメイン名がk3s control-panelのあるマシンに解決され、GZCTFのマシンがその6443ポートにアクセスできることを確認する必要があります。

</Callout>

上記の出力内容を`kube-config.yaml`として保存し、`server`フィールドをk3s control-panelのあるマシンのIPに変更します。例えば、

```yaml
apiVersion: v1
clusters:
  - cluster:
      certificate-authority-data: # ...
      server: https://127.0.0.1:6443 # change this to your k3s control-panel's IP or domain
    name: default
# ...
```

これをGZCTFをデプロイするマシンに保存し、`compose.yml`と同じフォルダに置きます。例えば`kube-config.yaml`とします。
次に`compose.yml`のマウント情報を変更します：

```yaml
gzctf:
  image: gztime/gzctf:latest
  restart: always
  ports:
    - "80:8080"
  networks:
    default:
  volumes:
    - "./data/files:/app/files"
    - "./appsettings.json:/app/appsettings.json:ro"
    - "./kube-config.yaml:/app/kube-config.yaml:ro" # this is required for k8s deployment
    # - "/var/run/docker.sock:/var/run/docker.sock" # this is required for docker deployment
  depends_on:
    - db
```

同時に`appsettings.json`を変更し、`ContainerProvider`フィールドを設定します：

```json
{
  "Type": "Kubernetes",
  "PublicEntry": "ctf.example.com" // change this to your k3s control-panel's IP or domain
}
```

GZCTFを再起動すると、k3sをコンテナバックエンドとして使用できるようになります。すでにk8sを使用した経験があるユーザーは、上記の設定プロセスを参考にして、GZCTFを既存のk8sクラスタに接続することができます。

# NodePort ポート範囲の変更

k3sのデフォルトのNodePortポート範囲は30000-32767ですが、これは要件と一致しない場合があります。そのため、必要に応じてk3sのNodePortポート範囲を変更することができます。

k3s control-panelが存在するマシンで以下のコマンドを実行します：

- `sudo nano /etc/systemd/system/k3s.service`
- `ExecStart`の設定を編集し、`service-node-port-range`を指定します。

  ```bash
  ExecStart=/usr/local/bin/k3s \
      server \
      --kube-apiserver-arg=service-node-port-range=20000-50000
  ```

- `sudo systemctl daemon-reload`
- `sudo systemctl restart k3s`

## K3sのコンテナ数制限の変更

k3sのデフォルトのコンテナ数制限は110ですが、これは大量の小さなコンテナを含むゲームには適していないかもしれません。そのため、必要に応じてk3sのコンテナ数制限を変更することができます。

<Callout type="info">

参考：[How do you increase maximum pods per node in K3S?](https://stackoverflow.com/questions/65894616/how-do-you-increase-maximum-pods-per-node-in-k3s)

</Callout>

k3s control-panelが存在するマシンで以下のコマンドを実行します：

- `sudo nano /etc/rancher/k3s/kubelet.config`
- `maxPods`の設定を編集します。

  ```yaml
  apiVersion: kubelet.config.k8s.io/v1beta1
  kind: KubeletConfiguration
  maxPods: 500
  ```

- `sudo nano /etc/systemd/system/k3s.service`

- `ExecStart`の設定を編集し、`kubelet-arg`を指定します。

  ```bash
  ExecStart=/usr/local/bin/k3s \
      server \
      --kubelet-arg=config=/etc/rancher/k3s/kubelet.config
  ```

- `sudo systemctl daemon-reload`
- `sudo systemctl restart k3s`

## コンテナイメージリポジトリの追加

外部のコンテナイメージリポジトリは、k3sで直接使用することはできません。そのため、k3sにイメージリポジトリを追加する必要があります。

k3s control-panelが存在するマシンで以下のコマンドを実行します：

- `sudo nano /etc/rancher/k3s/registries.yaml`

- `mirrors`の設定を編集し、必要なイメージリポジトリのアドレスを指定します。

  ```yaml
  mirrors:
    "container.ctf.example.com": # change this to your registry's domain
      endpoint:
        - "https://container.ctf.example.com" # change this to your registry's domain
  ```

- `sudo systemctl restart k3s`
